跳到正文
全部标签

# apache iceberg

共 3 篇文章

  • 把数据湖换成 Iceberg 前,先找出最值得迁的 3 张表

    把数据湖换成 Iceberg 前,先找出最值得迁的 3 张表

    Grab 把 Hive Parquet 迁往 Apache Iceberg 后,部分查询从约 70 秒降到 6 秒,部分 S3 API 成本最多下降约 95%。但普通数据开发不该先问要不要全湖迁移,而应从小文件、查询频率、元数据等待和人工补分区里找出最值得先动的 3 张表。
  • Iceberg 迁移决策表:从小文件、查询成本到回滚计划 PRO

    Iceberg 迁移决策表:从小文件、查询成本到回滚计划

    团队准备从 Hive Parquet 迁往 Apache Iceberg 时,最容易缺的不是技术介绍,而是一张能比较收益、兼容性和回滚风险的决策表。本文给数据开发一套 Pro 模板,用 6 组指标筛选候选表,并把基线、试点、双读验证和退出条件写进迁移计划。
  • 数据周刊|Agent 开始改写数据库、图表和分析助手

    数据周刊|Agent 开始改写数据库、图表和分析助手

    Data Engineering Weekly #278 把 5 个信号放到了一起:Agent 可能一次发出上千条 SQL,Microsoft Flint 尝试让 AI 稳定生成图表,Grab 用 Apache Iceberg 处理海量小文件,AWS 重做 MCP 工具接口。普通数据开发和分析师该先补哪一层?